We present a novel corpus for French dialect identification comprising 413,522 French text samples collected from public news websites in Belgium, Canada, France and Switzerland. To ensure an accurate estimation of the dialect identification performance of models, we designed the corpus to eliminate potential biases related to topic, writing style, and publication source. More precisely, the training, validation and test splits are collected from different news websites, while searching for different keywords (topics). This leads to a French cross-domain (FreCDo) dialect identification task. We conduct experiments with four competitive baselines, a fine-tuned CamemBERT model, an XGBoost based on fine-tuned CamemBERT features, a Support Vector Machines (SVM) classifier based on fine-tuned CamemBERT features, and an SVM based on word n-grams. Aside from presenting quantitative results, we also make an analysis of the most discriminative features learned by CamemBERT. Our corpus is available at https://github.com/MihaelaGaman/FreCDo.
translated by 谷歌翻译
Can we leverage the audiovisual information already present in video to improve self-supervised representation learning? To answer this question, we study various pretraining architectures and objectives within the masked autoencoding framework, motivated by the success of similar methods in natural language and image understanding. We show that we can achieve significant improvements on audiovisual downstream classification tasks, surpassing the state-of-the-art on VGGSound and AudioSet. Furthermore, we can leverage our audiovisual pretraining scheme for multiple unimodal downstream tasks using a single audiovisual pretrained model. We additionally demonstrate the transferability of our representations, achieving state-of-the-art audiovisual results on Epic Kitchens without pretraining specifically for this dataset.
translated by 谷歌翻译
2022-11-28
We propose a very fast frame-level model for anomaly detection in video, which learns to detect anomalies by distilling knowledge from multiple highly accurate object-level teacher models. To improve the fidelity of our student, we distill the low-resolution anomaly maps of the teachers by jointly applying standard and adversarial distillation, introducing an adversarial discriminator for each teacher to distinguish between target and generated anomaly maps. We conduct experiments on three benchmarks (Avenue, ShanghaiTech, UCSD Ped2), showing that our method is over 7 times faster than the fastest competing method, and between 28 and 62 times faster than object-centric models, while obtaining comparable results to recent methods. Our evaluation also indicates that our model achieves the best trade-off between speed and accuracy, due to its previously unheard-of speed of 1480 FPS. In addition, we carry out a comprehensive ablation study to justify our architectural design choices.
translated by 谷歌翻译
Medical image segmentation is an actively studied task in medical imaging, where the precision of the annotations is of utter importance towards accurate diagnosis and treatment. In recent years, the task has been approached with various deep learning systems, among the most popular models being U-Net. In this work, we propose a novel strategy to generate ensembles of different architectures for medical image segmentation, by leveraging the diversity (decorrelation) of the models forming the ensemble. More specifically, we utilize the Dice score among model pairs to estimate the correlation between the outputs of the two models forming each pair. To promote diversity, we select models with low Dice scores among each other. We carry out gastro-intestinal tract image segmentation experiments to compare our diversity-promoting ensemble (DiPE) with another strategy to create ensembles based on selecting the top scoring U-Net models. Our empirical results show that DiPE surpasses both individual models as well as the ensemble creation strategy based on selecting the top scoring models.
translated by 谷歌翻译
在计算机视觉领域，异常检测最近引起了越来越多的关注，这可能是由于其广泛的应用程序从工业生产线上的产品故障检测到视频监视中即将发生的事件检测到在医疗扫描中发现病变。不管域如何，通常将异常检测构架为一级分类任务，其中仅在正常示例上进行学习。整个成功的异常检测方法的家庭基于学习重建掩盖的正常输入（例如贴片，未来帧等），并将重建误差的幅度作为异常水平的指标。与其他基于重建的方法不同，我们提出了一种新颖的自我监督蒙面的卷积变压器块（SSMCTB），该卷积变压器块（SSMCTB）包括基于重建的功能在核心架构层面上。拟议的自我监督块非常灵活，可以在神经网络的任何层上掩盖信息，并与广泛的神经体系结构兼容。在这项工作中，我们扩展了以前的自我监督预测性卷积专注块（SSPCAB），并具有3D掩盖的卷积层，以及用于频道注意的变压器。此外，我们表明我们的块适用于更广泛的任务，在医学图像和热视频中添加异常检测到基于RGB图像和监视视频的先前考虑的任务。我们通过将SSMCTB的普遍性和灵活性整合到多个最先进的神经模型中，以进行异常检测，从而带来了经验结果，可以证实对五个基准的绩效改进：MVTEC AD，BRATS，BRATS，Avenue，Shanghaitech和Thermal和Thermal和Thermal罕见事件。我们在https://github.com/ristea/ssmctb上发布代码和数据作为开源。
translated by 谷歌翻译
DeNoising扩散模型代表了计算机视觉中最新的主题，在生成建模领域表现出了显着的结果。扩散模型是一个基于两个阶段的深层生成模型，一个正向扩散阶段和反向扩散阶段。在正向扩散阶段，通过添加高斯噪声，输入数据在几个步骤中逐渐受到干扰。在反向阶段，模型的任务是通过学习逐步逆转扩散过程来恢复原始输入数据。尽管已知的计算负担，即由于采样过程中涉及的步骤数量，扩散模型对生成样品的质量和多样性得到了广泛赞赏。在这项调查中，我们对视觉中应用的denoising扩散模型的文章进行了全面综述，包括该领域的理论和实际贡献。首先，我们识别并介绍了三个通用扩散建模框架，这些框架基于扩散概率模型，噪声调节得分网络和随机微分方程。我们进一步讨论了扩散模型与其他深层生成模型之间的关系，包括变异自动编码器，生成对抗网络，基于能量的模型，自回归模型和正常流量。然后，我们介绍了计算机视觉中应用的扩散模型的多角度分类。最后，我们说明了扩散模型的当前局限性，并设想了一些有趣的未来研究方向。
translated by 谷歌翻译
最近在文献中引入了用于视频异常检测的自我监督的多任务学习（SSMTL）框架。由于其准确的结果，该方法吸引了许多研究人员的注意。在这项工作中，我们重新审视了自我监督的多任务学习框架，并提出了对原始方法的几个更新。首先，我们研究各种检测方法，例如基于使用光流或背景减法检测高运动区域，因为我们认为当前使用的预训练的Yolov3是次优的，例如从未检测到运动中的对象或来自未知类的对象。其次，我们通过引入多头自发项模块的启发，通过引入多头自我发项模块，使3D卷积骨干链现代化。因此，我们替代地引入了2D和3D卷积视觉变压器（CVT）块。第三，为了进一步改善模型，我们研究了其他自我监督的学习任务，例如通过知识蒸馏来预测细分图，解决拼图拼图，通过知识蒸馏估算身体的姿势，预测掩盖的区域（Inpaining）和对抗性学习具有伪异常。我们进行实验以评估引入变化的性能影响。在找到框架的更有希望的配置后，称为SSMTL ++ V1和SSMTL ++ V2后，我们将初步实验扩展到了更多数据集，表明我们的性能提高在所有数据集中都是一致的。在大多数情况下，我们在大道，上海the夫和Ubnormal上的结果将最新的表现提升到了新的水平。
translated by 谷歌翻译
DarkWeb代表了一个用于非法活动的温床，用户在不同的市场论坛上进行交流以交换商品和服务。执法机构从执行作者分析的法医工具中受益，以根据其文本内容识别和配置用户。然而，传统上使用文学文本（例如小说或粉丝小说中的片段）对作者身份分析进行了研究，这些文字在网络犯罪背景下可能不合适。此外，使用撰稿人分析工具进行网络犯罪的少数作品通常采用临时实验设置和数据集。为了解决这些问题，我们发布了Veridark：由三个大规模作者身份验证数据集和一个从用户活动中从黑暗网络相关的Reddit社区或流行的非法黑暗网络市场论坛获得的基准组成的基准。我们在三个数据集上评估竞争性NLP基准，并对预测进行分析，以更好地了解此类方法的局限性。我们在https://github.com/bit-ml/veridark上公开提供数据集和基线
translated by 谷歌翻译
随着视觉变压器在多个计算机视觉任务中的成功应用之后，这些模型引起了信号处理社区的关注。这是因为信号通常表示为频谱图（例如通过离散的傅立叶变换），可以直接提供作为视觉变压器的输入。但是，天真地将变压器应用于频谱图是次优的。由于轴代表不同的尺寸，即频率和时间，因此我们认为一种更好的方法是将注意力集中在每个轴上。为此，我们提出了可分离的变压器（SEPTR），该体系结构以顺序使用两个变压器块，在同一时间间隔内首次访问令牌，第二个在同一频率箱内的代币。我们对三个基准数据集进行实验，表明我们的可分离体系结构的表现优于常规视觉变压器和其他最新方法。与标准变压器不同，SEPTR线性地缩放具有输入大小的可训练参数的数量，从而具有较低的内存足迹。我们的代码可在https://github.com/ristea/septr上作为开源。
translated by 谷歌翻译
最近的研究表明，卷积神经网络不能很好地推广到小图像转换，例如旋转几个度或几个像素的翻译。为了提高这种转换的鲁棒性，我们建议除了应用于输入图像的常见数据增强外，还要在神经结构的中间层上引入数据增强。通过在各个级别的激活图（特征）中引入小小的扰动，我们开发了神经网络以应对这种转换的能力。我们在三个图像分类基准（Tiny Imagenet，Caltech-256和Food-101）上进行实验，考虑了两个不同的卷积架构（Resnet-18和Densenet-121）。与两种最先进的稳定方法相比，经验结果表明，我们的方法始终达到准确性和平均翻转率之间的最佳权衡。
translated by 谷歌翻译